Hoàng tử Joseph II chào đời vào năm 1741, trong giai đoạn đầu của cuộc chiến tranh Bảy năm. Ông là con trai trưởng của Nữ hoàng Áo Maria Theresia - con gái của Hoàng đế Karl VI.[4] Cha ông là Hoàng đế Franz I của Thánh chế La Mã.[5] Những tác phẩm của các triết gia triết học Khai sáng (chẳng hạn như Voltaire), tấm gương ngời sáng của vua Phổ Friedrich II Đại đế (1712 – 1786) đã mang lại cho ông nền giáo dục trên thực tế. Các quan đại thần trong Triều đình đã mang lại cho ông nền giáo dục hữu ích, họ dạy ông về bộ máy hành chính của vô số quốc gia, bao gồm các lãnh thổ thuộc Áo và đế quốc La Mã Thần thánh dân tộc Đức.

Hội đồng Nhà nước Áo (Staatsrat) được thiết lập, Hoàng tử Joseph trở thành thành viên của Hội đồng này vào năm 1761. Theo lệnh của Nữ hoàng Maria Theresia, ông tự soạn thảo các biên bản cho bà đọc. Những tài liệu này viết về mầm mống của chính sách của vị Hoàng đế về sau, và của tất cả những tai hại cuối cùng sẽ xảy ra với ông. Ông khuyến khích tự do tôn giáo, giảm bớt uy quyền của Giáo hội Công giáo, cứu thoát tầng lớp nông dân khỏi những gò bó của chế độ phong kiến, cũng như xoá bỏ những hạn chế về thương mại và tri thức. Về những tư tưởng này, ông cũng chẳng khác gì vua nước Phổ Friedrich II Đại Đế và Nữ hoàng nước Nga Ekaterina II Đại Đế, hoặc em trai và vua kế vị của ông là Leopold II, nói chung là tất cả những vị vua Khai sáng vào thế kỷ XVIII. Ông đã nỗ lực giải phóng những người nông nô, tuy nhiên, cải cách này không thể kéo dài sau khi ông qua đời.[6] Thời bấy giờ, nước Áo lâm chiến với Phổ trong cuộc Chiến tranh Bảy năm (1756 - 1763), phải chịu sự chống trả quyết liệt của vua nước Phổ là Friedrich II Đại Đế.[7] Với Hiệp định Hubertusburg vao năm 1763, Áo không thể chiếm được đất của Phổ, đổi lại vua Friedrich II Đại Đế đồng ý sẽ ủng hộ Joseph II lên làm Hoàng đế La Mã Thần thánh.[8]

Vào năm 1765, Joseph II (1741 – 1790) lên ngôi Hoàng đế của Thánh chế La Mã, đồng cai trị với người mẹ Maria Theresia.[9] Là một người có tính sôi nổi và bốc đồng, Joseph II rất ngưỡng mộ Friedrich II Đại đế. Năm 1769, Joseph II đến thăm nhà vua Phổ tại Neisse, Silesia. Năm sau, ông lại tiếp vị vua già tại Moravia. Joseph II là một vị vua chân thành và thẳng thắn. Vua Friedrich II thì thận trọng hơn, nhận ra rằng Joseph II tuy thế nhưng đồng thời là một ông vua có tham vọng lớn lao, sau này sẽ gây hiểm họa cho Vương quốc Phổ. Sau những lần gặp này, Friedrich II treo một tấm hình ông trong phòng của mình. Khi một số người để ý đến việc này, Đại đế Friedrich II nói với họ:[10]

“ 

Đúng vậy! Trẫm vẫn luôn quan sát vị hoàng đế trẻ tuổi này.

 ”

Vào năm 1778, vua Friedrich II Đại đế xua quân đánh Áo, dập tắt mưu đồ sáp nhập xứ Bayern của Joseph II. Hoàng đế mang quân chống trả, tuy nhiên, không có một trận đánh thật sự nào xảy ra do cả hai vị vua đều cố thủ thay vì tấn công. Nữ hoàng Maria Theresia đã đứng ra đàm phán hoà bình. Vào tháng 4 năm 1780, Hoàng đế Joseph II viếng thăm Nữ hoàng Ekaterina II của Nga, không làm theo lời dạy của mẹ mình.

Hoàng đế Joseph II đã kế vị vua cha Franz I làm Công tước xứ Lorraine và xứ Bar trên danh nghĩa. Trên thực tế, các xứ ấy đã được nhượng cho Pháp trong hôn lễ của tiên đế Franz I. Joseph II cũng làm Vua xứ Jerusalem và Công tước xứ Calabria trên danh nghĩa (với tư cách là người thay mặt cho Vương quốc Naples). Ông hăng hái noi theo đường lối trị quốc của vua Friedrich II Đại Đế nước Phổ.[11] Vào năm 1785, ông lại một lần nữa tìm cách xâm chiếm xứ Bayern, và vua Friedrich II Đại Đế thiết lập "Liên minh các Vương hầu" của người Đức để chống trả. Nhà vua nước Phổ đã bảo vệ được nguyên trạng của Thánh chế La Mã trước những tham vọng của Hoàng đế.[12][13]